Principles of Neural Design
これほぼ神の書なんでは…
生物は物理的限界・競争環境で長年進化してきた
すべての構造は最適であるはず
最適 is
(あるニッチで) うまく生存すること
物理限界に迫っている
エネルギーを得つづけて、危険を回避すれば生きることができる
全ての構造・行動はエネルギーを消費する
情報処理のコストは結構高い
なので生存に寄与しないような情報処理は進化の過程で排除されたはずという前提がおける
生物がそういう目的で設計されたシステムであると仮定し、情報科学・物理・分子生物学をつかってリバースエンジニアリングしていく本 細胞一つとかの小さい単純な生物から積み上げていく
大きい生物からやっていくと「キリンの首が長いのはなぜ?」みたいな生態系とかゲーム理論の話になってしまうため (たぶん) ある環境で生存するために都合のいい情報・情報処理が、神経系を規定する
バクテリアの大きさ (数um)
環境はほぼランダムで制御不能
自分で動きに行く意味が無い
何も外界を察知せず、記憶もせず、処理もしないのが最適
それでも濃度変化とかに対する応答はある
C. elegans (mm以下)
濃度分布がある水中を移動
流動する
地図を作っても意味は無い
でも、数分持続する「良い領域」「悪い領域」はある
それにたどり着ける程度の知性と行動能力
昆虫・哺乳類
環境がめちゃくちゃ広くてpersistする
数10msとかで高速に変化する ~ 数日 ~ 数年という膨大な時間スケール・情報量
これを扱えることが実際に有利に働く
感覚器官も情報処理も高い
昼夜サイクルのどこを占めるかのニッチが生まれる
夜: echo locationに投資
昼: visionに投資
…
エネルギーの生産はms単位では変動できない
余剰エネルギーが常に発生
循環器系は、余剰エネルギーを高速に最適な部位に振り分けるシステム
情報処理
一番安いのはタンパク質による計算
ほぼ物理限界
ただし: 近距離 (nm)専用
情報伝送
近距離では拡散でOK
遠距離では大量の物質が必要になりかつ遅い
遠距離・低速
遅い循環器系の制御
遠距離・高速
--> neuron / synapse / axonのような構造が生まれる
neuron
bit rate
firing rateに対しsub linearにしか増えない
S/N ratio
高速・遠距離伝送はコストが高い
圧倒的に太いneuronが必要
近くに配置する・その場で計算
計算と伝送のトータルの効率が最大になるようにあらゆるものが分化し配置されている
いろんなシステムは
低速 & 高速のハイブリッドを為す
中間ぐらいのトレードオフもめちゃくちゃいっぱいある
なぜなら特殊化は安いから
発現制御でバリエーションを増やせるから
睡眠ものこの一種
環境に対する最適化
全てを動的にやるとコスパが悪い
不要情報の削除・不要処理の削除
動的処理をいつneural circuitに変換するかの選択
reward
sparseなsignalが最も情報表現のコスパ良い
なのでrewardはsparse
positive / happy: 少ない
多くは neutral ~ unhappy
エネルギー効率が、報酬の基本構造を規定
学習効率を最大化するために飽きる
飽きる = 報酬が無くなる
驚きが学習を生む
飽きないと情報が増える行動をしないので
外界の情報処理・摂取にも時間かかる
学習フェーズに応じた、内部での自動での繰り返しパターン生成
「選択」
全ての情報源を統合し、比較する必要がある